合肥素有“淮右襟喉，江南唇齿”之称，交通位置十分重要。合肥站始建于1935年，1936年4月完工。1936年，淮南矿至合肥的铁路试车成功，合肥火车站正式开展铁路旅客运输业务。但是好景不长，1937年10月，为配合抗日战争需要，淮南线被毁，合肥站随之关闭。1942年，日本侵略者修复水家湖至合肥段铁路，合肥站改名为庐江驿恢复启用。1944年日军拆除水家湖至裕溪口段铁路，合肥站再次关闭。抗战时因“兵火破坏，站房、铁轨及一切设备悉无幸存”。解放以后，国家投巨资修复淮南线铁路，1950年11月，合肥至裕溪口段铁路通车，合肥铁路运输恢复。1950年，1、2号站台、站前广场、候车室建成启用。 新中国成立后，1952年，合肥成为安徽省省会，城市人口不断增长，城市规模迅速扩张，老火车站站房小，候车人多拥挤不堪，已不能适应城市发展的需要。
1977年，在合肥城市总体规划编制过程中，计划把合肥原有火车站和铁路向城外移，解决铁路分割城市问题。1982年，国务院批准了合肥市的总体规划。1989年，铁道部下达《关于变更合肥站址方案的批复》文件，合肥铁路枢纽及合肥新客站也列入国家计划，但因建设资金问题，建设工程开工延迟。
合肥新客站于1994年6月开工，1995年底建成竣工，增加了股道，新建了牵出线、候车室、售票厅、行李房、站台雨棚，扩建了货场、仓库。这时的合肥站已经发展成为客货运一等站。
